Evaluation of Meta-scheduler Architectures and Task Assignment Policies for High Throughput Computing

In this paper we present a model and simulator for many clusters of heterogeneous PCs belonging to a local network. These clusters are assumed to be connected to each other through a global network and each cluster is managed via a local scheduler which is shared by many users. We validate our simulator by comparing the experimental and analytical results of a M/M/4 queuing system. These studies indicate that the simulator is consistent. Next, we do the comparison with a real batch system and we obtain an average error of 10.5% for the response time and 12% for the makespan. We conclude that the simulator is realistic and well describes the behaviour of a large-scale system. Thus we can study the scheduling of our system called DIRAC in a high throughput context. We justify our decentralized, adaptive and opportunistic approach in comparison to a centralized approach in such a context. Key-words: Simulation, Model, Multi-clusters platform, Meta-scheduling, Grid Computing This text is also available as a research report of the Laboratoire de l’Informatique du Parallélisme http://www.ens-lyon.fr/LIP. Évaluation d’architectures de Meta-ordonnanceur et politique de distribution de tâches pour le calcul haute performance Résumé : Dans cet article, nous présentons une modélisation et un simulateur de grands systèmes de calcul distribué. Une telle plate-forme se compose de grappes de PCs hétérogènes appartenant à un réseau local inter-connectées entre elles par un réseau global. Ces grappes sont accessibles via un ordonnanceur local et sont partagées entre les utilisateurs. La confrontation du simulateur avec les résultats théoriques d’un système M/M/4 nous permet de conclure qu’il est analytiquement valide. Une deuxième confrontation avec un système batch réel, nous donne une différence moyenne de 10.5 % par rapport à la réalité pour les temps de réponse et de 12% pour le makespan. Notre simulateur est donc réaliste et décrit le comportement d’un système de batch réel. Fort de cet outil, nous avons analysé l’ordonnancement de notre système (appelé DIRAC) dans un contexte de calcul intensif. Nous avons justifié l’approche distribuée, adaptative et opportuniste utilisée dans notre système par rapport à une approche centralisée. Mots-clés : Simulation, Modélisation, Plate-forme multi-grappes, Calcul sur la Grille Évaluation of Meta-scheduler architectures ... 3